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® Verfahren zum Einblenden eines neuen Bildabschnittes an einer vorbestimmten Stelle eines datenreduzierten 
Video-Datenstromes 

@ Zum Einblenden eines neuen Bildabschnittes an einer 
vorbestimmten Stelle eines Videobildes, das als digitaler 
und nach einem Block-Codierverfahren datenreduzierten 
Video-Datenstrom vorliegt, 

wird zunachst durch Analyse des Video-Datenstromes die 
Stelle bestirnmt, an welcher der neue Bildabschnitt einzu- 
blenden ist; 

dann wird der einzublendende neue Bildabschnitt nach 
dem gleichen Block-Codierverfahren datenreduziert und 
bitgenau an der vorbestimmten Stelle des Video-Daten- 
stromes anstelle der dort entfernten Datenblocke des ur- 
sprunglichen Datenstromes einkopiert. 
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Beschreibung 



Die Erfinduog betriffl bin Verfahren laut Oberbegriff des 
Hauptanspruches' / ' :; ' ' ' ' 1 

In cler digitalen Vid6oubertragungstechnik werden in'zu-f 5 
nehmendem MaBe dal'enred'uzierende Codierverfah'reri'ver- ' 
wendet. Zu itiheri gehbren die sogeriahnlen MPEG-Codier-' 
verfahren, die eine blockbasierte Di'skrete^osinus-Trans- ' 
formation (DCT) diirchfuhren (nach ISO/IEC 11172 (1993) 
"Information technology: Cocting of moving Pictures- ' and to 
associated audio for digital storage media at up to about 1,5 
Mbit/S" und ; ISO/tEC' 13818-2 "Information technology: ' 
Generic coding of Moving 1 Pictures and associated audio in-^ 
fomiation: video"). Sie nutzeh sbwohl die in einem Eilderit- 
haltene Redundanz als auch die Eigens'chaften der inensch- 15 
lichen visuellen Wahrnehmung aus, um. die zur Darstellung 
notweridige Datenriienge zu reduzieren. Dieses MPEG-Co- 
dicrvcrfahrcn ist cin schr rcchcnaufwcndigcr ProzcB, cr wird 
derzeit in koriiplexer Hardware realisiert, eine Softwareco- 
dieruhg kann auf den derzeit verfugbaren Person al-Compu- 20 
tern nicht echtzeitfahig dure hgefuhrt werden. 

Fur den noch riicht codierten und'eiamit auch noch* nicht 
datenreduzierten Video-Dateristrorn sind die yerschiecienar- 
tigsten Verfahren zum'Einblendeh eines neuen Bildinhaltes 
an 'einer vorbeslimmten Stelle eines Videobildes nekannl, 25 
beispielsweise zum riachtraglichen Einblenden von Schrift- 
zugen, Logos oder anderen neuen Bildinhalten in eiri'vor- 
handenes Videobiid. Diese bekannten Y^rfah'reh sind jedoch 
nicht geeignet zum Einbfenden solcrier neuer Bildabschnitte 
in einen digitalen Videodafenstroin, der nach' einem der 30 
oben bekannten Codierverfahren datenreduzierf ist. 

Es ist daher Aufgabe der Erfindung, ein Verfahren aufzu- 
zeigen, niit dem auch solche Einblendungen vori neuen 
Bildabschnitten in einen durch Blockcodierung datenredu- 
zierten Datenstrorh moglich sind. ; ' 35 

Diese Aufgabe wird ausgehend von einem Verfahren laut 
Oberbegriff des Hauptanspruches durch' dessen kerinzeich- 
nende Merkniale gelost," vorteilhafte Weiterbildungen'erge- 
ben sich aus deri Uriteranspruchen. * ' ! * 

Das erfindungsgemaBe Verfahren 'niitzt die Erkenntnis 40 
aus, daB nach dem eingangs erwahnten bekannten Block- 
Codierverfahren, insbesondere dem Makroblock-Codierver- 
fahren MPEG, jeweils durch die Blockgrenzen getrennte 
scharf definierte Bildbereiche vorhanden sind und so durch 
Auswechselri von ganzen Blocken an einer vbrbestimmten 45 
Stelle des Video^Datenstromes ohhe UberschneiHungen ein 
entsprechehd blbckcodierter neuer Bildabschhitt exakt ein- 
gesetzt werden kanri. Dies ist gemaB der Erfindung mil sehr 
geringem Rechenaufwand moglicH, da niir* die' rieu einzufu- 
genden Bildabschnitte neu codiert werden rriiissen, der ur- 50 
sprungliche Video-Datenstrom dagegen iri seiner 'datenredur 
zierten kornprimierten Form unverandert bleibtlEine er- 
neute Codierung und damit eventuell vefburideneQualitats- 
eihbuBeri des urs^ruriglicheri Bildes werden hierdurch ver- 
mieden. Es4st nur erforderlich; durch ein vorhergehendes 55 
Analyseverfahren des urspruriglicheri datenreduzierten Vi- 
deo-Datenstromes zeileri- und spaltengenau die Stelle im 
Videobiid zu bestimmeri, an welcrier der rieue Bildabschnitt 
eingesetzt werden soli. ' '! ■ 

Nach dem* erfindungsgemaBen Verfahren konnen damit 60 
auch noch in einer Senderstatiori, die einen vom Studio zu- 
gefiihrteh und beispielsweise' nach dem MPEG-Codierver- 
fahren datenreduzierten Video-Dateristrom aussendet, vor 
der Abstrahiuhg beispielsweise Schriftzuge ocier Logos ei- 
nes Service-Pro viders eingcb lender Vvcrdcn,' ohnc' daB hicrzu 65 
eine Decodierung und anschlieBende errieute MPEG-Codie- 
ru'hg des 'gesamteh'Datenstfbmes n6tig f ist. n '"' ! - r 
jn Die 'Erfindung ^ wird im folgenden ahhand schematischer 



2^eichnungen an Ausfuhrungsbeispielen'naher erlautert. 

Die in den MPEG -Standards beschriebene hy bride Vldeo- 
codierung nutzt mehrere Eigenschaften von Bewegtbildse- 
quenzen und der nienschlichen visuellen Wahrnehniung aus ; 
um die Datenrate zur D r arstellung der Sequenz zu reduzie- 
ren. Dazu zahlen u. aV: ' ■ il " ! 1 
Die Trans forrriatiori in cleii Frequenzbereich durch die'Dis- 
krete-Cosinus J Transfomiaiion ! (DCT);' ; 
die ^variable Quaritisierung der DCT- Kdeffizienten urid ' 
die zeitiiche'PradikVion mit Bewejgungskdnipensation. ' i 
'' Fur die Transformation in den Frequenzbereich durch die 
Disfcrete-C!!osinus-Transf6nnation wird das zu codierende^ 
Bild in Blocke zu je 8 - 8 Bildpunkten unterteilt. Diese" 
Blocke werden bei der "IrHr^Codierung" einzeln der DCT 
unterworfen. Dairaus ergeben sich DCT-lCoefizienten als 
MaB ifur das Auftreteh bestiinmter DCf-Basismuster in dem, 
Block.' Die Chrominahz ist im Vergleicri zur Luiiiinanz -bei 
Anwcridurigch in der Fcrnschtcchhik Qblichcrwcisc untcrab- 
gerastet. Bei den Farbrastern "4 : 2:2" im Studiobereich und 
M 4 : 2:0". fur die Prbgrammverteilung haben die Blocke der 
Chromirianzinformation bei gleiclier Bildpunktanzahl ge- 
geniibdr den Blockbh der Luminahzirifonnatiori eine vergro- 
Berte Ausdehnung. Um dieserii Umstand Rechnung zu tra- 
gen, sind die Irifbmiatiorien von je 16 • 6 Bildpunkten der 
Luiiiinanz und die der zugehorigeri Chrominanz zu Makro- 
blocken zysammehgefaBt. Ein Makroblbck besteht demnach 
aus 4 Luniinahzbiocken und je nach Abta'str aster aus je 1,2 
oder 4' Chrbmirianzblocken fur die Farbdifferenzsignale. 
Die Fig. I-3"veranschaulichen die' verschiedenen Makro- 
block-Struktiireri. Neben 'der Intra-Codierung konnen die 
Blocke je nach Bildtyp auch auf ahdere Arten codiert" wer- 
denV ' " r ; ; " ' ' ' t ' : ' 1 " 

Zur Ausnutzung der Ahnlichkeit aufeinander folgender 
Bilder einer Sequenz besteht die Moglichkeit, sfatt der obeh 
beschriebenen Intracodierung als Darstellung fur deri Bild- 
ihhait 1 eines Makroblockes einen Verweis auf einen mog- 
licHst ! alinlichen Bildbereich in einem anderen Bild zu codie- 
ren. Si Die Lageinfprmation des Referenzbildbereiches wird 
durch Bewegungsvektoren dargestellt. MPEG erlaubt eine 
grdBe Vieizahl unterschiedlicher Kombifiatiorien der Codie- 
iTing und Pradiktioii zur Dai's tellung von Makroblocken. 
Einschrahkurigen bei <ier Wahl der 'Darstellungsart sind 
durchl &en gewahlteri Bildtyp fur die Codierung eines Bildes 
gegeben. ' *' .».'.- , * 

I-Bilder l sirid ihtra-codiert." Sie diirfen nur aus intra-co- 
dieften Makfoblocken aufgebaut sein. Dementsprechend 
lasseh sie sich ohne Informationen weiteref Bilder decbdie- 
fen.-^' v? 7 ' ; - " ' • ; ' ";■' ;'* ■■■ ' ' 

P-Bilder sind' uhidirektional-^radizierte Bilder.' Sie kon- 
nen bewegungskbmpensierte und pfadizierte Makroblocke 
enthalterij'Zu irirer'l5ecddierurig rnuB das Referenzbild be- 
reits vorliegen, *^das ehtweder' ein I-Bild oder ein arideres . 
F-Bild seih'kanh. In P-Bildern sind aber auch intra-codierte 
Makroblocke zulassig. ^ ^ . 

B-Bilder'sind bidirektional-pradizierfe Bilder. Die Bewe- 
gungsvettdrbh'lri B T Bildern konnen sich auf ein vorherge 1 
hendes I- oder P-Bild und auch' auf ein iri' Anzeigereihen- 
folge hacHfolg&ides' I- oder P-Bild bezieheh. In B-Bildern 
sind neben deh befeits oben erwahnten Darstellungsformen 
fur Makroblocke aiich die'der bidire^ktiohalen Pradiktion ge- 
stattet. Durch die Interpolation aus zwei Referenzbildberei- 
chen kanri ein bidirektional pradizierter Makroblock darge- 
steUt werden.' r' * ■■ ' l > \ • 

!, Nebeh deri 1 beschriebenen Malcroblocktypen sind' noch 
wcitcr'6 Typcri als Kombinatiori aus deri bcschricbcricn Dar- 
stellungsarten moglich. v - : 

'Zwei verschi^dene Arten vori' Makrob locked 1 sind zu un- 
te'rscheideri : : , MSkro blocke, die ' spatef ausgetauscht ' \verderi 
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konnen, und Makroblocke, die nichl, ausgetauscht werden 
konnen. Beidc Typen durfen kei ne Bewegungsvekloren auf 
Makroblocke cnl.hall.cn, die zuni Austausch vorhereitet sind. 
Pur nicht: auswechselbare Makroblocke hedeutel. dies, daB 
der Wcrtebereich der Bewegungsvekloren, eingeschrankl. t 5 
werden muR, falls auswcchselbare Makroblocke im Suchbe-. 
reich der Bcwegungsschatzungjiegen. Auswechselbare Ma-; 
kroblocke durfen keine.Bewegungsvektoren auf andere aus- 
wechselbare Makroblocke en thai ten. Erlaubt sind. jedoch 
Bewegungsvekloren auf, nicht auswechselbare Makro- to 
blocke. .oder den Makrobjock seLbst. Im letztgenanhten Fall 
wird der "NuUvektor" jedoch nichl iiberjragen, sondern es 
best eh t die Moglichkeit, den Codierungstyp des Makrp-. 
blocks entsprechend zu wahlen t ("skipped macroblook" oder 
"coded/nol motioncompensated macroblock"). . ( 15 

Die eixizusetzenden Bildinhalle konnen wahlweise unab- 
hangig von dem Basis- Videos trom sein, oder durch Einstan : 
zcn. bzw. Mischcn von ncucm ,und altcm Bildinhalt crzcugt' 
werden. Dazu muR zunachst der a lie Bildinhalt decodiert 
und in der Biidebene nut dem neuen verarbeitet werden. 20 

Der in den Videodatenstrprn einzusetzende Bildinhalt 
muB anschlieRend in codierte ^akroblocke gewandelt wer- 
den . In I-Bildern, werden alje t Makroblocke i ntxa 7 codieh . . 
Die Parameter der Codierung tnussen an Uie der Videose- 
quenz angepaBl sein. In P- undJB-Bildern konnen die Ma-J 215 
kroblocke wahlweise intra T codiert,.geskippt p^er auch pra- f 
dizierl werden. Die Pradiktion muB sich dabei auf den be- 
reits ausgetauschten Bildinhalt im Referenzbild.-bezi 

Die Codierung, der neuen Makroblocke schliept mit der 
Quantisierung und der Variablen^Langen-Cpdierung (VLC) 30 
ab. Urn die erf order lie hen i Anderungen in deip Basis- \fideo-. 
stroiii gering zu halten, sollte die Quantisierung so gewahlt 
werden, daB die resultiereqde Dat en menge der neuen .Ma- 
kroblocke geringer oder gleich der der auszuwechselnden T 
Makroblocke. ist. , , : , (t ; • ( -V 5 , 

Die neuen Makroblocke werden anschlieRend bitgenau an, 
die S telle der alien Makroblocke kopieq. Die eyentuell ; vor- 
handene Differenz zwischen der Datennienge der ursprung- ( 
lichen Makroblocke und der Datenrnenge der neuen Makro T 
blocke kann u. U. nicht. direkt am Ende der neuen Makro-, 40 
blocke ausgeglichen werden, da zwischen zwei Makxoblok- 
ken kei ne S topfbi ts erlaubt t sind . Die i m S lice ey en tuell 
nachfolgenden Makrobl6c|ce ; rniissen daher bitgenau an das 
Ende der ausgetauschten Makroblocke angehangt werden. 
Am Ende des SI ices, konnen die frejgewprdenen Bi^pps^tio- 45 
nen mit § topfbi £s gefullt werden. ; ^Iternatiy kauen,auch,der 
Rest des Bildes, ge.schoben werden ,undam ( Ende de,s,Bi Ides 
gestopft werden. Um bei der Quantisierung der einzufiigen 7 
den Bildinhalle; einen erweiterten, Spiekaurn_zu„ haben ( kon- 
nen, die auswechselbarerr . Makrpblocke, im Basisr Video- 50 
strom entweder mit einem reduzierten Quantisierungsf^ 
codiert. werden 1 pder es werden auf Slice- Ebene^ zus.atzliche 
Stopfbits . als ( Reserve .eingefugt,., Bei der t |Codieru.ng . yon 
"skipped macroblocks" in B-Bildern ist zu.beacl^ten^daB^er 
zuletzt '! wirksame" Bewegungsvektor eines vprhergebenden 55 
Makrob loc kes angewendet. ( wi rd. S oil der B i ldin halt des : err 
sten neuen Makroblockes im Slice, nicht yerschpbep wer- 
den, ; so mur der Be ( wegungsvektor durch die.Codierung^ei- 
ner ^eeigneten Difrerenz^kompensiert werden. Jrn ,ersten 
ubernommenen N^alg:oblpc ( k .recht.s f neben ausgewechselten. 60 
Makroblockep muB der BewegungsyektorMgegebenenfails 
korrigiert wercjen; wenn der Bezugsvektpr sich geanderL hat. 

Nachdem in alien Bildem der Videosequerj^die. g€)- 
wunschten Makroblqcke ausgetauscht ^ind,, Uegt. ein tl gulti- 
gcr, • standardkonfprmcr Vidcpdatcns t troi)i . mU ^c^n^crtcm 65, 
Bildinhalt vor. { /lA ,,. : ti '.^..i,,.!, .j^ 

j r 2x\x Verm^idupg. unejrwunschter Nebenefl^kte^eij^ 
wechs.eln,]des t .BUdabschnittes (> .^. n { daB 



der auszutauschende Bildabschnitt nicht als Referenz fUr ei- 
nen Bildabschniit. dient, der nicht ausgetauscht wird, da sich 
sonst der Austausch des entsprechenden Makroblockes auch 
auf einen anderen als den gewiinschten Bildabschnitt. aus r 
wirkt. Dies kann dadurch vennieden werden, daR bereits bei 
der urspriinglichen Codierung hach dem MPEG- Verfahren 
dafiir gesorgt wird, daB zumindest in dem Bildbereich, in 
deiii ei n e ( B i Idei ri b len du n g vorgesehen i st , kei ne M akro- 
blpcke mit Bewegungsvekloren vorhanden sind, also nur in- 
tra-codierte Makroblocke. Wenn diese Berucksichtigung be- 
reits bei der urspriinglichen Codierung nicht. mog lie h ist. 
muB clurch ein wei teres vorhergeherid.es Analyseverfahren 
dafiir gesorgt werden, daB irj den nicht auszutauschenden 
Makroblocken keine Bewegungsyektoren auf auszutau- 
schendeMakrobiocke vorhanden sind. ( 

Zur Enmittlung der .Einblendstelle gibt. es ' verschiedene. 
Ivloglichkeiten, den Video- Daten strom zu analysieren : 

- Durch die ersten Schritte eines iiblichen Decodier- 
verfahrens wird festgestellt, ob zwischen dem auszu- 
wechselnden Bildbereich und dem t zu ubernehnienden 
( Bildbereich* Verkniipfungen durch Bewegungsvekloren 
bestehen. 1st dies nicht der Fall, so : konnen die entspre- 
chenden Makroblocke ohne unerwiinschte ^ebenef- : 
fekle' aus^ew ( echseit werden. Die noti^en Arbeits- 

( 'schritte hierzu si nd .das Auffinden spezieller S tart codes 
der "Header", und ( decodieren der sich anschlieBenden 
yariablen-llangen-Codes Danach ist iediglich die In-" ; 
. ' ..terpretatipn der Makroblocktypen und Bewegungsvek- 
tpreh erforderlich. Die rechenaufweridige'Dequantisie-* 
rung und ^inverse, Di$krete-Cosinus : Transfonnation 
. miissen nicfrt ausgefuhrt werden. t v 

- Der.Basb 7 Videostrqm ist speziell fur diesen Anwen- 

. dungsf all codiert worden. Dabei wurden die Restriktio- , 
nen beziiglich der Makroblocktypen und der, Bewe- 
g u n gs vektqren berucksic h tig t. Zus at zlic h . wercien di e 
. Koordinaten jdes a^uswechselbaren .Bereiches an geeig- 
neter Stelle i n den D aten strom geschrieben . Sie inussen 
vor Veranderiing extrahiert uncj bei der Bearbeit ung ge- 
eignet berucksichtigt werden. t rj , , i t . 

... . Hatentanspriiche., . , t 

t ( Verfahren zum Einblenden . eines neuen Bildab r 
i( schnittes an einer vorbestimmten Stejle eines Videobil- 
( . des, das als digitalex und .nacb einem Block-Codieryer- 
/ fahren datenredyzierten, Video-Datenstroni vorliegt, 

dadurch gekennzeicjinet, idaB ; . 
, durcfi Analyse des, Video-Datenstromes die Stelle be- 
. . stimmt wird, an welcher der neue Bildabschnitt einzu- 

blenden ist, ... * ■ . . • 1 - 

, der emzubjenderide neue Bildabschnitt . nacfi deni glei- 
. c,hen Blo9k-Cpdierverfaliren datenreduziert wird und 

.dann der Datenstrom des neuen Bildabschnittes bitge- 
. , nau an der vorbestimmten^ Stelle des Video-Datenstro- 
, . mes- anstelle der„ dort ,entfernten Datenblocke, des ur- 
. , sprunglichen Datenstxqmes ^inkopiert wird. t 
2. Verfahren nach Anspruch 1, dadurch gekennzeich- 
;net, ,d ( a ^ ^ er . \fideo-E>aten strom nach .dem MPEG-Co- 
, diewerfahren datenreduziert ist., , ., ;< 
, .3 • Verfahren nach Apspruch \ ,oder.2 ? dadurch gekenn- 
zeichnet, daB die ^odierung ,und Quantisierung ,4es 
. neuen : BildabschDittes so, gewahlt. ist, daB die.Paten- 
( . mcngc der n ( cucn DatcnbljpckjC, glci,ch o^cr. geringer der 
^ ,der zg jqntferrie.n.deji Bl^^ , ; . . ... . - » • ... .. 

4 . Verfahren ,n acjh. iejinern . der. yorhergehenden An sprp- 
j che,, dadurch gekennzeiqh net, t daB die. der Einbjend- 
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stelle nachfolgenden nichi ausgewechselten Daten- 
blocke bitgenau an das Ende der einkopierlen neuen 
Datenblocke angehangt werden. 

5. Verfahren nach einem der vorhergehenden Ansprii,-,. 
che, dadurch gekennzeichnet, daB mindestens ein TeiV 
des ausgewechselten urspriinglichen Video-Dalenstro- 
mes zur Bildung des Datenstronies des neuen Bildab- 
schnitles benutzt wird. 
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Fig. 1: 4:2:0 Macroblock-Struktur 
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Fig. 2: 4:2:2 Macroblock-Struktur 
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Fig. 3: 4:4:4 Macroblock-Straktur 
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